Мраморный дворец, одно из самых знаменитых зданий XVIII века, возводился 1768 по 1785 год по заказу императрицы Екатерины II.

Дворец построен по проекту архитектора Антонио Ринальди, мраморный рельеф с портретом которого установлен на стене парадной лестницы при входе во дворец. Портрет появился по желанию первого владельца дворца, графа Г. Орлова, выразившего таким образом свое восхищение талантом архитектора.

В середине XIX века дворец перестраивают по проекту архитектора Александра Брюллова (подробнее смотри «Архитектурный облик и интерьеры»).

Архитектор Н.Е. Лансере, проводивший в 1937 году реконструкцию помещений с приспособлением под нужды нового музея, сохранил во многом декоративную отделку исторических интерьеров. Однако, последующие обновления музейной экспозиции (1969-70гг.) привели к тому, что в дальнейшем отделка была практически полностью утрачена.